James là con trai hợp pháp duy nhất còn sống tới tuổi trưởng thành của nhà vua James IV của Scotland cùng hoàng hậu Margaret Tudor, con gái của Henry VII của Anh. Ông chào đời vào ngày 10 tháng 4 năm 1512, tại Cung điện Linlithgow, Linlithgowshire và được tiến hành rửa tội vào ngày hôm sau. Ông được nhận tước vị Công tước của Rothesay và Hoàng tử của Scotland.[1]. James chính thức lên ngôi vua khi mới 17 tháng tuổi khi cha ông, vua James IV, bị giết trong trận Flodden Field ngày 9 tháng 9 năm 1513.

James cử hành lễ gia miện tại lâu đài Stirling ngày 21 tháng 9 năm 1513. Trong thời gian mà ông chưa trưởng thành, đất nước được cai trị bởi nhiếp chính, ban đầu là mẹ ông cho lúc bà tái hôn vào năm sau và sau đó là John Stewart, Công tước thứ hai của Albany, người hiện đứng thứ hai trong danh sách kế vị sau James và em trai ông vừa chào đời, Alexander Stewart, Công tước xứ Ross. Những quan nhiếp chính khác bao gồm Robert Maxwell, Huân tước Maxwell thứ 5, đây người của Hội đồng nhiếp chính đã được trao cho Arran, đảo lớn nhất vùng Firth of Clyde. Tháng 2 năm 1517, James từ Stirling đến Holyroodhouse, Edinburgh, nhưng lúc đó có một đợt dịch bệnh trong thành phố, nên ông được chuyển đến chỗ Antoine d'Arces ở gần lâu đài Craigmillar [2]. Tại Stirling, cậu bé 10 tuổi James có một được bảo vệ bởi 20 người lính được trang bị trang phục với màu sắc riêng biệt, đỏ và vàng. Khi ông đi đến công viên bên dưới lâu đài, "bởi bí quyết và thời tiết," sáu người lính kị sẽ hộ tống ông trong suốt quãng đường hai dặm để ngăn không cho kẻ nào xâm nhập đến gần đức vua.[3]. Nhiều nhà thơ đã viết những tác phẩm của tiêng mình trình cho James dạy cho ông về những hành vi, cử chỉ của người hoàng tộc. Thời thiếu niên, việc học của ông được thực hiện ở Đại học St Andrews, những nhà thơ như Sir David Lyndsay đã dạy ông.[4]. William Stewart, trong bài thơ Princelie Majestie của mình, đã khuyên can nhà vua về việc trượt tuyết:

To princes als it is ane vyce,

To ryd hoặc run over rakleslie,
Or aventure to go on yce,
Accordis nocht to thy majestie.[5]

Vào mùa thu năm 1524 James sa thải các nhiếp chính và được mẹ ông tuyên bố là một nhà cai trị trưởng thành. Một vài viên quan được bổ nhiệm bao gồm cả nhạc sĩ Henry Rudeman.[6]. Sứ giả từ nước Anh, Thomas Magnus đã bị gây gây ấn tượng bởi quang cảnh triều đình Scotland tại Holyroodnhà on All Saints' Day 1524; "kèn trompet và kèn cổ đã vang tiếng nhạc một cách thích thú." Magnus còn ghi nhận nhà vua trẻ đã hát bên cạnh chú ngựa, và biểu diễn với một ngọn giáo tại Leith, và đã gây ấn tượng bằng việc ông ông ưa thích cách cư xử bằng tiếng Anh qua thời trang của Pháp..[7].

Năm 1525, Archibald Douglas, Bá tước thứ sáu của Angus, cũng là cha dượng của vua James V, giành lấy quyền kiểm soát nhà vua và giam lỏng ông như một tù nhân trong vòng ba năm, để qua đó thao túng triều đình. Đã có rất nhiều kế hoạch giải thoát cho nhà vua được đề ra, trong đó một vụ được thực hiện bởi Walter Scott của Branxholme và Buccleuch, người đã phục kích vào đoàn tùy tùng của Nhà vua ngày 25 Tháng 7, 1526 trong trận đánh Melrose, và bị thất bại phải bỏ chạy. Một năm sau, vào ngày 4 tháng 9 năm 1526, lại có thêm một nỗ lực khác nhằm giải thoát cho James trong trận Linlithgow Bridge, nhưng cũng một lần nữa thất bại. Ngày 20 tháng 11 năm 1526, James và Margaret được đưa tới Edinburgh, mẹ ông ở tại trong căn phòng tại Holyroodhouse mà Albany đã sử dụng, và James sử dụng phòng ở tầng.[8]. Tháng 2 năm 1527, Henry Fitzroy, Công tước của Richmond, đã trao cho James 20 con chó săn và một người thợ săn. Mãi đến cuối năm 1528, James mới thoát khỏi sự quản thúc của Angus và tự mình điều hành triều chính. Năm đó ông 16 tuổi.